24GB显存塞万亿参数巨兽,KTransformers入选SOSP
清华大学MADSys实验室与趋境科技(Approaching.AI)联合研发了一个系统KTransformers,一张消费级显卡就能跑一个万亿级参数模型。
moe 巨兽 amx sosp ktransformers 2025-10-23 16:17 2
清华大学MADSys实验室与趋境科技(Approaching.AI)联合研发了一个系统KTransformers,一张消费级显卡就能跑一个万亿级参数模型。
moe 巨兽 amx sosp ktransformers 2025-10-23 16:17 2
这是一个高性能异构推理框架,专注于高效利用底层GPU、CPU、内存等多样化算力,让大模型在更低算力、更灵活的硬件架构上高效运行,项目论文《KTransformers: Unleashing the Full Potential of CPU/GPU Hybri
推理 开源 范式 清华 ktransformers 2025-10-23 09:13 1